ประสิทธิ์ เคยดำรงตำแหน่งประธานสภาเทศบาลเมืองสงขลา ก่อนที่จะได้รับการเลือกตั้งเป็นสมาชิกสภาผู้แทนราษฎรจังหวัดสงขลา และได้รับการแต่งตั้งเป็นรองประธานสภาผู้แทนราษฎร รวม 2 สมัย และหัวหน้าคณะผู้แทนไทยในการประชุมสหภาพรัฐสภา ณ กรุงริโอเดอแจไนโร ประเทศบราซิล เมื่อปี พ.ศ. 2501 ต่อมาได้รับการแต่งตั้งให้เป็นสมาชิกวุฒิสภา เมื่อปี พ.ศ. 2511-2514 รวมทั้งได้รับการแต่งตั้งให้ดำรงตำแหน่ง ที่ปรึกษานายกรัฐมนตรี (จอมพล ถนอม กิตติขจร) รวม 2 ครั้ง[2]

ประสิทธิ์ เคยเป็นกรรมการบริหารพรรคธรรมสังคม[3] ในปี พ.ศ. 2517

สมาชิกสภาผู้แทนราษฎร

นายประสิทธิ์ จุลละเกศ ได้รับการเลือกตั้งเป็นสมาชิกสภาผู้แทนราษฎรทั้งหมด 2 สมัย คือ

1. การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป พ.ศ. 2495 จังหวัดสงขลา
2. การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป ธันวาคม พ.ศ. 2500 จังหวัดสงขลา ไม่สังกัดพรรคการเมือง[4]